A benchmark for testing adaptive systems on structured data

I n t h i s p a p e r , w e w i l l d e s c r i b e a g e n e r a l m e t h o d o l o g y w h i c h c a n b e u t i l i z e d i n t h e g e n e r a t i o n o f i m a g e r e c o g n i t i o n b e n c h m a r k p r o b l e m s , w h i c h c a n b e u s e d t o v a l i d a t e a n d v e r i f y l e a r n i n g a l g o r i t h m s f o r d a t a s t r u c t u r e s . T h i s m e t h o d o l o g y i s b a s e d o n t h e c o n c e p t o f r e p r e s e n t i n g d a t a s t r u c t u r e s u s i n g w h a t i s k n o w n a s a n a t t r i b u t e d p l e x l a n g u a g e , u s i n g a n a t t r i b u t e d p l e x g r a m m a r . T h e a d v a n t a g e s o f u s i n g s u c h a m e t h o d o l o g y a r e t h a t ( 1 ) i t a l l o w s e a s y g e n e r a t i o n o f a l a r g e n u m b e r o f i m a g e r e c o g n i t i o n p r o b l e m s , w i t h v e r y w e l l d e n e d p a r a m e t e r s ; ( 2 ) i t r e q u i r e s r e l a t i v e l y s m a l l m e m o r y s t o r a g e ; a n d ( 3 ) i t c a p t u r e s s o m e o f t h e p r o b l e m s w h i c h f a c e t h e t a s k s o f a d a p t i v e p r o c e s s i n g o f d a t a s t r u c t u r e s . I n o r d e r t o i l l u s t r a t e t h i s m e t h o d o l o g y , w e w i l l u s e a n a r t i c i a l l e a r n i n g t a s k , v i z . , a t r a Æ c p o l i c e m a n , a n d t o s h o w h o w i t c a n b e a p p l i e d r e a d i l y . T h e t r a Æ c p o l i c e m a n b e n c h m a r k i s a n a r t i c i a l l e a r n i n g t a s k c o m p o s e d o f i m a g e s r e p r e s e n t i n g p o l i c e m e n w h i l e g i v i n g d i r e c t i o n s t o t h e t r a Æ c . P o l i c e m e n a r e c o m p o s e d o f b l o c k s o f d i e r e n t s h a p e , s i z e , a n d c o l o r 1 w h i c h a r e p r o p e r l y c o m b i n e d b y m e a n s o f r u l e s e x p r e s s e d u s i n g a n a t t r i b u t e d p l e x g r a m m a r . S o m e c o n c e p t s c a n b e d e n e d i n t h e w o r l d o f t h e t r a Æ c p o l i c e m e n a i m e d a t e m p h a s i z i n g e i t h e r s o m e f e a t u r e s o f t h e p a t t e r n s o r a t r e c o g n i z i n g a n a c t i o n . S o m e l e a r n i n g t a s k s a n d e x p e r i m e n t a l r e s u l t s a r e p r e s e n t e d i n s e c t i o n 4 a n d s e c t i o n 5 . T h e s o f t w a r e f o r g e n e r a t i n g i m a g e s f r o m a n a t t r i b u t e d p l e x g r a m m a r p o l g e n i s i n t r o d u c e d i n s e c t i o n 3 . 2 a n d t h e d e n i t i o n o f t h e p o l i c e m a n b e n c h m a r k i s g i v e n i n s e c t i o n 3 . 1 . T h e f o l l o w i n g s e c t i o n g i v e s a q u i c k o v e r v i e w o f t h e v a r i o u s g r a m m a r s u s e d . I t i s s h o w n t h a t a t t r i b u t e d p l e x g r a m m a r s a r e p a r t i c u l a r l y u s e f u l f o r i n t e r c o n n e c t i n g a n d a s s i g n i n g p r o p e r t i e s t o g r a p h i c a l o b j e c t s . 2 G r a m m a r s C o m m o n c o n t e x t f r e e g r a m m a r s [ 6 ] a n d p o p u l a r n o t a t i o n s a r e a p p l i e d t h r o u g h o u t t h i s d o c u m e n t a n d f o r t h e c r e a t i o n o f t h e b e n c h m a r k . T h e s e g r a m m a r s a r e c a p a b l e o f m o d e l i n g s t r u c t u r a l p r o p e r t i e s o f p a t t e r n s . H o w e v e r , t h e y h a v e d i f c u l t i e s i n r e p r e s e n t i n g q u a n t i t a t i v e i n f o r m a t i o n s u c h a s t h e s i z e o f a n o b j e c t , t e x t u r a l p a r a m e t e r s o f r e g i o n s , o r o r i e n t a t i o n . T h u s w e d e c i d e d t o u s e a t t r i b u t e g r a m m a r s [ 2 ] a s a s o l u t i o n t o t h i s p r o b l e m . T h e a p p r o a c h i s t o a l l o w a s s i g n m e n t s o f s p e c i c a t t r i b u t e s t o t e r m i n a l s y m b o l s t o d e s c r i b e a n d i n h e r i t s i z e a n d c o l o r o f o b j e c t s . F o r t h e p o l i c e m e n b e n c h m a r k w e e x t e n d t h i s g r a m m a r b y t h e d e n i t i o n o f g l o b a l a n d l o c a l a t t r i b u t e s . G l o b a l a t t r i b u t e s a r e v i s i b l e i n a l l p r o d u c t i o n s w h e r e a s l o c a l a t t r i b u t e s a r e o n l y v i s i b l e w i t h i n o n e p r o d u c t i o n . L o c a l a t t r i b u t e s t o a n o b j e c t A o v e r r i d e i t s g l o b a l a t t r i b u t e s . E a c h o b j e c t A h a s a t l e a s t o n e g l o b a l a t t r i b u t e n a m e l y i t s d e f a u l t v a l u e . S o f a r , t h e o n l y p o s s i b l e r e l a t i o n b e t w e e n s y m b o l s i n a s t r i n g p r o d u c e d b y a c o n t e x t f r e e g r a m m a r i s t h e c o n c a t e n a t i o n r e l a t i o n . T h i s s c h e m a i s v e r y r e s t r i c t e d i f h i g h e r d i m e n s i o n a l p a t t e r n s a r e t o b e d e s c r i b e d . A m o r e e e c t i v e a p p r o a c h i s t o i n c o r p o r a t e r e l a t i o n s i n t o s t r i n g r e p r e s e n t a t i o n s w h i c h a r e m o r e g e n e r a l t h a n c o n c a t e n a t i o n . T h e p l e x g r a m m a r , a s i n t r o d u c e d b y F e d e r i n 1 9 7 1 1 T h e s e a r e c o m m o n l y k n o w n a s p r i m i t i v e s . E S A N N ' 1 9 9 9 p r o c e e d i n g s E u r o p e a n S y m p o s i u m o n A r t i f i c i a l N e u r a l N e t w o r k s B r u g e s ( B e l g i u m ) , 2 1 2 3 A p r i l 1 9 9 9 , D F a c t o p u b l i c . , I S B N 2 6 0 0 0 4 9 9 X , p p . 6 3 6 8 [ 3 ] , i n t r o d u c e s o b j e c t s w i t h a n a r b i t r a r y n u m b e r o f a t t a c h m e n t p o i n t s f o r j o i n i n g o t h e r s y m b o l s , t h u s a l l o w i n g v e r y g e n e r a l m e a n s o f i n t e r c o n n e c t i o n o f p r i m i t i v e o b j e c t s i n t o c o m p l e x o b j e c t s . A n o b j e c t o f t h i s t y p e i s c a l l e d a n n a t t a c h i n g p o i n t e n t i t y ( N A P E ) w i t h N A P E 2 V , w h e r e V i s t h e v o c a b u l a r y o f t h e l a n g u a g e , c o n t a i n i n g b o t h t h e t e r m i n a l s e t T , a n d n o n t e r m i n a l s e t N . T h e a b i l i t y t o i n t e r c o n n e c t o b j e c t s a r b i t r a r i l y i s p a r t i c u l a r l y u s e f u l f o r t h i s b e n c h m a r k a n d i s a p p l i e d e x t e n s i v e l y . P l e x g r a m m a r s a r e q u i t e p o w e r f u l a n d g e n e r a l i n n a t u r e . T h e y c o m b i n e t h e p o w e r o f s t r i n g { , t r e e { , a n d w e b { g r a m m a r s [ 4 ] a s s u b { c a s e s . H o w e v e r , a d r a w b a c k i s t h a t p l e x p r o d u c t i o n s c o u l d b e q u i t e c r y p t i c . F u r t h e r m o r e , i l l e g a l p r o d u c t i o n s a r e e a s i l y i n t r o d u c e d b u t m i g h t b e d i Æ c u l t t o d e t e c t . F o r t h i s r e a s o n m e t h o d s f o r s i m p l i f y i n g a n d n o r m a l i z i n g p l e x g r a m m a r s h a v e b e e n s u g g e s t e d [ 5 ] 3 T h e p o l i c e m e n w o r l d T h e w o r l d t h a t w e c o n s i d e r c o n s i s t s o f a t r a Æ c p o l i c e m a n s t a n d i n g o n a p e d e s t a l . T h e p o l i c e m a n i s c o m p o s e d o f b l o c k s o f d i e r e n t s h a p e , c o l o r , a n d s i z e . T h e s h a p e o f t h e b l o c k s i s p r e d e n e d ; c o l o r a n d s i z e a r e v a r i a b l e . T h e p o l i c e m a n i s i n a c e r t a i n s t a t e d e p e n d i n g o n h o w t h e b l o c k s a r e a s s e m b l e d o r m o d i e d . F o r e x a m p l e , i f t h e p o l i c e m a n f e a t u r e s a r a i s e d s i g n o r t w o r a i s e d a r m s t h e n h i s s t a t e i s \ s t o p " , t w o l o w e r e d a r m s m e a n s \ g o " , o n e r a i s e d l e f t a r m w i t h o u t a s i g n i m p l i e s \ p r e p a r e f o r s t o p " . O t h e r s t a t e s c a n a l s o b e d e n e d . S t a t e s , f o r e x a m p l e , t h a t r e l y o n t h e s i z e o r c o l o r o f b o d y p a r t s . I m a g e 1 : A t r a Æ c p o l i c e m a n 3 . 1 S y n t a c t i c d e n i t i o n T h e p o l i c e m a n w o r l d c a n n i c e l y b e d e s c r i b e d b y m e a n s o f a n a t t r i b u t e d p l e x g r a m m a r w h e r e a p o l i c e m a n c a n b e c o m p o s e d o f t h e f o l l o w i n g p r i m i t i v e o b j e c t s : N = f h a t ; f a c e ; m b o d y ; a r m ; h a n d ; s i g n ; s k i r t ; l e g ; p e d e s t a l g : I n t e r c o n n e c t i o n s b e t w e e n p r i m i t i v e s a r e w e l l d e n e d t h r o u g h a p l e x g r a m m a r t h a t a l s o a s s i g n s m o d i f y i n g a t t r i b u t e s t o i t s p r i m i t i v e o b j e c t s . T h e r e s u l t a r e i m a g e s s i m i l a r t o t h e o n e s h o w n i n i m a g e 1 . A s t r u c t u r a l d e c o m p o s i t i o n o f t h e s e i m a g e s i s g i v e n i n g u r e 1 . I t r e e c t s t h e p a r s i n g t r e e a s p r o d u c e d b y t h e g r a m m a r . E S A N N ' 1 9 9 9 p r o c e e d i n g s E u r o p e a n S y m p o s i u m o n A r t i f i c i a l N e u r a l N e t w o r k s B r u g e s ( B e l g i u m ) , 2 1 2 3 A p r i l 1 9 9 9 , D F a c t o p u b l i c . , I S B N 2 6 0 0 0 4 9 9 X , p p . 6 3 6 8 b o d y h e a d l o w e r p a r t m b o d y l a r m r a r m a r m s i g n l e g l e g p e d e s t a l h a n d a r m h a t f a c e s k i r t l e g s p o l i c e m a n F i g u r e 1 : S t r u c t u r a l d e c o m p o s i t i o n o f a t r a Æ c p o l i c e m a n E v e r y t e r m i n a l s y m b o l i s r e p r e s e n t e d b y a g r a p h i c a l o b j e c t i n f o r m o f a p i x m a p l e . I t c a n b e a u g m e n t e d w i t h a s e t o f a t t r i b u t e s . V a l i d a t t r i b u t e s a s s i g n a c o l o r o r a s c a l i n g f a c t o r t o e a c h o b j e c t . O n e o f t h e m a i n b e n e t s o f c h o o s i n g p i x m a p d a t a a s t e r m i n a l N A P E s i s t h a t t h e r e i s n o r e s t r i c t i o n t o u s e j u s t s i m p l e b l o c k s a s e l e m e n t s f o r t h e p o l i c e m a n g r a m m a r . T h e y c o u l d a l s o c o n t a i n i m a g e s o f r e a l w o r l d o b j e c t s s u c h a s o f a f a c e o f a p e r s o n . 3 . 2 C r e a t i n g P o l i c e m e n P o l i c e m e n a r e c r e a t e d b y u t i l i z i n g a g r a m m a r a s m e n t i o n e d i n p r e v i o u s c h a p t e r s . T h e r e s u l t i s a c o l l e c t i o n o f d i s t i n c t i m a g e s o f e q u a l r e s o l u t i o n f e a t u r i n g p o l i c e m e n s t a n d i n g o n a p e d e s t a l . A n i n t e r p r e t e r h a s b e e n d e v e l o p e d t h a t a c c e p t s a n a t t r i b u t e d p l e x g r a m m a r a s a n i n p u t s c r i p t l e a s w e l l a s c e r t a i n c o m m a n d l i n e o p t i o n s t o c o n t r o l t h e n u m b e r o f p o l i c e m e n i m a g e s p r o d u c e d o r t h e d e s i r e d r e s o l u t i o n f o r e a c h i m a g e . T h e i n t e r p r e t e r p o l g e n ( s h o r t f o r p o l i c e m e n g e n e r a t o r ) c r e a t e s a n a r b i t r a r y n u m b e r o f p o l i c e m e n i m a g e s f r o m a g i v e n s c r i p t l e . I t c o n t a i n s a l a r g e r a n g e o f i m a g e m a n i p u l a t i o n f u n c t i o n s a s w e l l a s m e t h o d s f o r s y n t a x c h e c k i n g o n t h e g r a m m a r , a n d a n i n t e r p r e t e r f o r p r o d u c i n g i m a g e s . T h e n u m b e r o f d i e r e n t p o l i c e m e n 2 i s c o n t r o l l e d t h r o u g h t h e g r a m m a r . T h e n u m b e r d e p e n d s d i r e c t l y o n t h e n u m b e r o f a t t r i b u t e s s t a t e d a s w e l l a s o n t h e n u m b e r o f p r o d u c t i o n s f o r e a c h n o n t e r m i n a l . 3 . 3 G r a p h i c a l R e p r e s e n t a t i o n N u m e r o u s i m a g e p r e p r o c e s s i n g a n d f e a t u r e e x t r a c t i o n t e c h n i q u e s h a v e b e e n d e v e l o p e d t o r e d u c e t h e d i m e n s i o n a l i t y f o r f e a t u r e v e c t o r s . H o w e v e r , t h e s e m e t h o d s m o s t l y l a c k i n a n e Æ c i e n t r e p r e s e n t a t i o n o f c o r r e l a t e d d a t a a s t h e o u t p u t i s g e n e r a l l y a f e a t u r e v e c t o r o f x e d o r v a r i a b l e l e n g t h . G r a p h i c a l r e p r e s e n t a t i o n s o n t h e o t h e r h a n d a r e v e r y i n f o r m a t i v e a s w e c a n s e e i n t h e e x a m p l e g i v e n i n g u r e 2 . I t s h o w s a t r e e r e p r e s e n t a t i o n o f a p o l i c e m a n i m a g e . N o d e s r e p r e s e n t p a r t s o f t h e p o l i c e m a n . T h e y a r e l i n k e d b y a r r o w s i n d i c a t i n g t h e t e r m 2 T h e t e r m ` d i e r e n t p o l i c e m e n ' d e n o t e s t o p o l i c e m e n p r o d u c e d b y d i e r e n t p a r a m e t e r s . T h e r e m a y b e i n s t a n c e s w h e r e i d e n t i c a l p o l i c e m e n a r e p r o d u c e d f r o m d i e r e n t p a r a m e t e r s o r p r o d u c t i o n s . E S A N N ' 1 9 9 9 p r o c e e d i n g s E u r o p e a n S y m p o s i u m o n A r t i f i c i a l N e u r a l N e t w o r k s B r u g e s ( B e l g i u m ) , 2 1 2 3 A p r i l 1 9 9 9 , D F a c t o p u b l i c . , I S B N 2 6 0 0 0 4 9 9 X , p p . 6 3 6 8 \ c o n n e c t e d w i t h " . T h e r o o t c a n b e c h o s e n a r b i t r a r i l y . S u c h a r e p r e s e n t a t i o n n o t o n l y u t i l i z e s m e t h o d s f o r f e a t u r e e x t r a c t i o n a s d e s c r i b e d b e f o r e b u t a l s o p r e s e r v e s c o r r e l a t i o n b e t w e e n e x t r a c t e d f e a t u r e s . 1 2 3 4 5 6 7 8 9 1 0 1 2 5 3 4 6 7 8 9 1 0 1 1 1 1 F i g u r e 2 : G r a p h i c a l r e p r e s e n t a t i o n A f u r t h e r a d v a n t a g e : T r e e r e p r e s e n t a t i o n s o v e r c o m e p r o b l e m s w i t h m i s s i n g o r w r o n g l y e x t r a c t e d f e a t u r e s m o r e e a s i l y . F o r e x a m p l e , i f a n a l g o r i t h m h a d f a i l e d t o e x t r a c t a h a n d o f t h e p o l i c e m a n t h e n t h e t r e e r e p r e s e n t a t i o n w o u l d s t i l l p r o v i d e g r e a t s i m i l a r i t i e s t o t h e c o r r e c t p a t t e r n . O n t h e o t h e r h a n d , a t r e e r e p r e s e n t a t i o n c a n b e l e s s s e n s i t i v e t o s c a l e a n d r o t a t i o n . I n t h e g i v e n e x a m p l e , t h e t r e e w o u l d b e t h e s a m e f o r p o l i c e m a n w i t h a s m a l l b o d y o r f o r b i g p o l i c e m e n . T h e t r a Æ c p o l i c e m a n b e n c h m a r k i s j u s t a n e x a m p l e o f t h i s g e n e r a l m e t h o d o l o g y o f u s i n g a t t r i b u t e d p l e x g r a m m a r t o g e n e r a t e a w h o l e c l a s s o f i m a g e s , s u i t a b l e f o r v a l i d a t i n g l e a r n i n g a l g o r i t h m s f o r s t r u c t u r e d d a t a . F o r e x a m p l e , o n e c o u l d i m a g i n e u s i n g t h e a t t r i b u t e d p l e x g r a m m a r t o d e s c r i b e t h e c l a s s o f p r o b l e m s i n Q u a n t i t a t i v e S t r u c t u r e P r o p e r t y R e l a t i o n s h i p ( Q S P R ) a n d Q u a n t i t a t i v e S t r u c t u r e A c t i v i t y R e l a t i o n s h i p ( Q S A R ) i n m o l e c u l a r c h e m i s t r y [ 1 ] . 4 L e a r n i n g t a s k s A l a r g e v a r i e t y o f l e a r n i n g t a s k s c a n b e c o n c e i v e d i n t h e p o l i c e m a n w o r l d . T a s k s t h a t c a n b e d e s i g n e d a r b i t r a r i l y d i Æ c u l t o r e a s y . H e r e a r e s o m e e x a m p l e s : P o l i c e m e n w i t h t h e h a t o f t h e s a m e s h a p e , c o l o r , s i z e , . . . D e t e c t s t a t e s s u c h a s t h e s t a t e \ s t o p " f o r a r a i s e d s i g n o r t w o r a i s e d a r m s . T y p e s o f p o l i c e m e n e . g . t a l l , m e d i u m , s m a l l , f a t , s l i m . P o l i c e m e n w i t h m i s s i n g e l e m e n t s e . g . n o h a t o r w i t h o n e l e g o n l y . P o l i c e m e n g e n e r a t e d b y d i e r e n t g r a m m a r s . A n y c o m b i n a t i o n o f t h e f o r m e r . E S A N N ' 1 9 9 9 p r o c e e d i n g s E u r o p e a n S y m p o s i u m o n A r t i f i c i a l N e u r a l N e t w o r k s B r u g e s ( B e l g i u m ) , 2 1 2 3 A p r i l 1 9 9 9 , D F a c t o p u b l i c . , I S B N 2 6 0 0 0 4 9 9 X , p p . 6 3 6 8 T a s k s a r e c o n s i d e r e d t o b e e a s y l e a r n i n g t a s k s w h e n s t r u c t u r a l i n f o r m a t i o n d o e s n o t a d d a n y a d d i t i o n a l u s e f u l i n f o r m a t i o n t o t h e g i v e n p r o b l e m . T h u s , n d i n g a l l p a t t e r n s f r o m a g i v e n s e t o f p o l i c e m e n t h a t f e a t u r e a r a i s e d l e f t a r m i s a n e a s y l e a r n i n g t a s k . M o r e i n t e r e s t i n g i s t o s o l v e t h e d i s j u n c t i o n c o n j u n c t i o n p r o b l e m . E . g . n d p o l i c e m e n w e a r i n g e i t h e r a r e d o r t r i a n g u l a r H a t , h a v e a m i s s i n g l e f t a r m , a n d d o n o t w e a r l o n g p a n t s . 5 S o m e R e s u l t s E x p e r i m e n t s i n d i c a t e t h a t l e a r n i n g a l g o r i t h m s , s u c h a s t h e o n e d e s c r i b e d i n [ 7 ] , i n d e p e n d e n t f r o m a r c h i t e c t u r e a n d u p d a t i n g m e t h o d , a r e a b l e t o b e t r a i n e d s u c c e s s f u l l y o n t h i s b e n c h m a r k . O n e a s y l e a r n i n g t a s k s ( e . g . w h e n c l a s s e s a r e l i n e a r l y s e p a r a b l e ) a l l t e s t e d s y s t e m s a r e c a p a b l e t o p e r f o r m a t 1 0 0 % r e c o g n i t i o n r a t e . A d i e r e n c e c o u l d b e o b s e r v e d i n t h e t i m e n e e d e d f o r e a c h i n d i v i d u a l n e t w o r k t o c o n v e r g e . C o m m o n M L P n e t w o r k s r e q u i r e d a b o u t h a l f a s m a n y i t e r a t i o n s a s m e t h o d s a c c e p t i n g s t r u c t u r e d i n p u t s ( s u c h a s B P T S [ 7 ] ) t o r e a c h a n e r r o r l e v e l o f l e s s t h a n 1 % . A l s o , M L P n e t w o r k s u t i l i z e d a b o u t 3 0 t i m e s l e s s C P U p o w e r . L e a s t d e m a n d i n g i n t e r m s o f C P U c o n s u m p t i o n w a s L V Q e v e n s o i t c o m m o n l y r e q u i r e d a b o u t 1 0 t i m e s m o r e i t e r a t i o n s t h a n M L P n e t w o r k s . T h e s e g u r e s c h a n g e d r a m a t i c a l l y w h e n s t r u c t u r e d i n f o r m a t i o n i s r e q u i r e d t o s o l v e a g i v e n p r o b l e m . O f t e n , m e t h o d s a c c e p t i n g s t r u c t u r e d i n f o r m a t i o n s t i l l p r o d u c e r e a s o n a b l e r e s u l t s w h i l e o t h e r m e t h o d s f a i l . H o w e v e r , t h i s c o m e s a t t h e e x p e n s e o f m o r e C P U t i m e p e r i t e r a t i o n . R e f e r e n c e s [ 1 ] M i c h e l i A l e s s i o , S p e r d u t i A l e s s a n d r o , S t a r i t a A n t o n i n a , a n d A n n a M a r i a B i a n u c c i . A p p l i c a t i o n o f c a s c a d e c o r r e l a t i o n n e t w o r k s f o r s t r u c t u r e s t o q s p r a n d q s a r . s u b m i t t e d t o A p p l i e d I n t e l l i g e n c e , 1 9 9 8 . [ 2 ] H o r s t B u n k e . A t t r i b u t e d g r a p h g r a m m a r s a n d t h e i r a p p l i c a t i o n t o s c h e m a t i c d i a g r a m i n t e r p r e t a t i o n . I E E E T r a n s . P A M I 4 , p a g e s 5 7 4 { 5 8 2 , 1 9 8 2 . [ 3 ] T . F e d e r . P l e x l a n g u a g e s . I n f o . S c i e n c e s 3 , p a g e s 2 2 5 { 2 4 1 , 1 9 7 1 . [ 4 ] R a f a e l C . G o n z a l e z a n d M i c h a e l G . T h o m a s o n . S y n t a c t i c P a t t e r n R e c o g n i t i o n : A n I n t r o d u c t i o n . A p p l i e d m a t h e m a t i c s a n d c o m p u t a t i o n ; n o . 1 4 . A d d i s o n W e s l e y P u b . C o . , A d v a n c e d B o o k P r o g r a m , 1 9 7 8 . I S B N 0 2 0 1 0 2 9 3 0 8 . [ 5 ] M a r c o G o r i , M a r k u s H a g e n b u c h n e r , a n d A h C h u n g T s o i . T h e t r a Æ c p o l i c e m a n b e n c h m a r k . T e c h n i c a l r e p o r t , U n i . o f W o l l o n g o n g , D e c e m b e r 1 9 9 8 . [ 6 ] J o h n E d w a r d H o p c r o f t . I n t r o d u c t i o n t o a u t o m a t a t h e o r y , l a n g u a g e s , a n d c o m p u t a t i o n . A d d i s o n W e s l e y s e r i e s i n c o m p u t e r s c i e n c e . R e a d i n g , M a s s . ; L o n d o n [ e t c . ] : A d d i s o n W e s l e y , 1 9 7 9 . I S B N 0 2 0 1 0 2 9 8 8 X . [ 7 ] A . S p e r d u t i a n d A S t a r i t a . S u p e r v i s e d n e u r a l n e t w o r k s f o r t h e c l a s s i c a t i o n o f s t r u c t u r e s . f t p : / / f t p . d i . u n i p i . i t / p u b / P a p e r s / p e r s o / S P E R D U T I / t r 1 6 9 5 r e v i s e d . p s . g z , 1 9 9 5 . E S A N N ' 1 9 9 9 p r o c e e d i n g s E u r o p e a n S y m p o s i u m o n A r t i f i c i a l N e u r a l N e t w o r k s B r u g e s ( B e l g i u m ) , 2 1 2 3 A p r i l 1 9 9 9 , D F a c t o p u b l i c . , I S B N 2 6 0 0 0 4 9 9 X , p p . 6 3 6 8